Pelajaran 5 menandai pergeseran penting dalam COMP5511. Kita beralih dari logika deterministik komputasi klasik dan kepastian terawasi dari model klasifikasi awal menuju jantung probabilistik dari Generative AI. Dalam sesi ini, kita mengeksplorasi mengapa model AI modern tidak menghasilkan "fakta" melainkan distribusi probabilitas, mengungkap mekanisme yang memungkinkan LLM menulis puisi dan model difusi melukis dari kebisingan.
1. Pergeseran Paradigma: Dari Logika ke Probabilitas
- Melampaui IF-THEN: Beralih dari aturan kaku ke kemungkinan statistik yang fleksibel.
- Akhir dari Kepastian: Memahami mengapa hasil GenAI bersifat non-deterministik secara desain.
- Probabilitas sebagai Alat: Bagaimana "Era GenAI" memperlakukan ketidakpastian sebagai fitur untuk kreativitas, bukan sebagai bug yang harus diperbaiki.
2. Mesin Penciptaan yang Probabilistik
Generative AI mengandalkan pengambilan sampel dari ruang probabilitas berdimensi tinggi. Baik menghasilkan teks maupun gambar, model menavigasi ketidakpastian untuk menghasilkan kebaruan:
- Large Language Models (LLM): Memprediksi token berikutnya bukan sebagai pilihan tunggal, melainkan sebagai distribusi kemungkinan.
- Model Difusi: Seni merekayasa balik keteraturan dari kebisingan Gaussian.
- Proses Sampling: Bagaimana keacakan dimanfaatkan untuk mencegah keluaran yang repetitif dan "robotik".
3. Agen di Dunia yang Tak Terduga
Agen Otonom harus menavigasi "Dunia Terbuka" di mana setiap tindakan membawa tingkat risiko dan imbalan yang tidak diketahui.
Kompromi Halusinasi
Model yang sepenuhnya deterministik memang aman tetapi kurang memiliki pemikiran orisinal. Dengan merangkul ketidakpastian, kita memungkinkan kreativitas, tetapi kita juga memperkenalkan risiko Halusinasi—di mana model dengan yakin menghasilkan informasi yang masuk akal tetapi salah.
Logika Sampling Konseptual
1
Define functionGenerate_Response(Prompt,Temperature):
2
Calculateprobability distribution for all possible next tokens;
3
Adjust distribution based on Temperature(Higher = more diverse, Lower = more focused);
4
Select next token using Weighted Random Choice;
5
Repeat until completion.
Probabilistic Modeling
Modern AI views the world through the lens of statistics rather than binary truths.